Automated synthesis of histology images has several potential applications in computational pathology. However, no existing method can generate realistic tissue images with a bespoke cellular layout or user-defined histology parameters. In this work, we propose a novel framework called SynCLay (Synthesis from Cellular Layouts) that can construct realistic and high-quality histology images from user-defined cellular layouts along with annotated cellular boundaries. Tissue image generation based on bespoke cellular layouts through the proposed framework allows users to generate different histological patterns from arbitrary topological arrangement of different types of cells. SynCLay generated synthetic images can be helpful in studying the role of different types of cells present in the tumor microenvironmet. Additionally, they can assist in balancing the distribution of cellular counts in tissue images for designing accurate cellular composition predictors by minimizing the effects of data imbalance. We train SynCLay in an adversarial manner and integrate a nuclear segmentation and classification model in its training to refine nuclear structures and generate nuclear masks in conjunction with synthetic images. During inference, we combine the model with another parametric model for generating colon images and associated cellular counts as annotations given the grade of differentiation and cell densities of different cells. We assess the generated images quantitatively and report on feedback from trained pathologists who assigned realism scores to a set of images generated by the framework. The average realism score across all pathologists for synthetic images was as high as that for the real images. We also show that augmenting limited real data with the synthetic data generated by our framework can significantly boost prediction performance of the cellular composition prediction task.
translated by 谷歌翻译
计算病理(CPATH)是一种具有关于组织病理研究的新兴领域,通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积,以预测诊断域,预测,治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据,CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中,我们讨论了CPATH限制和相关挑战,使读者能够区分HIPE的希望,并为未来的研究提供指示,以克服这个崭露头角领域的一些主要挑战,以使其发射到两个轨道上。
translated by 谷歌翻译
核毒素和eosin染色组织学图像中的核分段,分类和定量使得能够提取可解释的细胞基特征,该特征可用于计算病理(CPATH)中的下游可解释模型。然而,对不同核的自动识别面临着主要的挑战,因为有几种不同类型的核,其中一些呈现出大的内部变异性。为了帮助推动CPATH中自动核认可的前进研究和创新,我们组织了结肠核识别和计数(圆锥)挑战。挑战鼓励研究人员开发在CPATH中,在CPATH中,在CPATH中进行当前最大已知的公知的核级数据集进行分割,分类和计数,其中包含大约一半的标记的核。因此,锥形挑战利用核数量超过10倍的核,作为核识别的前一大挑战数据集。如果我们希望在临床环境中部署它们,则对输入变体具有强大的算法很重要。因此,作为这一挑战的一部分,我们还将测试每个提交算法对某些输入变化的敏感性。
translated by 谷歌翻译
用于计算病理(CPATH)的深度分割模型的发展可以帮助培养可解释的形态生物标志物的调查。然而,这些方法的成功存在主要瓶颈,因为监督的深度学习模型需要丰富的准确标记数据。该问题在CPATH领域加剧,因为详细注释的产生通常需要对病理学家的输入能够区分不同的组织构建体和核。手动标记核可能不是收集大规模注释数据集的可行方法,特别是当单个图像区域可以包含数千个不同的单元时。但是,仅依靠自动生成注释将限制地面真理的准确性和可靠性。因此,为了帮助克服上述挑战,我们提出了一种多级注释管道,以使大规模数据集进行用于组织学图像分析,具有病理学家in-循环的细化步骤。使用本市管道,我们生成最大的已知核实例分段和分类数据集,其中包含近百万分之一的H&E染色的结肠组织中标记的细胞核。我们发布了DataSet并鼓励研究社区利用它来推动CPATH中下游小区模型的发展。
translated by 谷歌翻译
Current pre-trained language models rely on large datasets for achieving state-of-the-art performance. However, past research has shown that not all examples in a dataset are equally important during training. In fact, it is sometimes possible to prune a considerable fraction of the training set while maintaining the test performance. Established on standard vision benchmarks, two gradient-based scoring metrics for finding important examples are GraNd and its estimated version, EL2N. In this work, we employ these two metrics for the first time in NLP. We demonstrate that these metrics need to be computed after at least one epoch of fine-tuning and they are not reliable in early steps. Furthermore, we show that by pruning a small portion of the examples with the highest GraNd/EL2N scores, we can not only preserve the test accuracy, but also surpass it. This paper details adjustments and implementation choices which enable GraNd and EL2N to be applied to NLP.
translated by 谷歌翻译
红外成像系统的非均匀光电响应导致固定图案条纹噪声叠加在红外图像上,从而严重降低了图像质量。由于降级红外图像的应用有限,因此有效保留原始细节至关重要。现有的图像破坏方法难以同时消除所有条纹噪声伪影,保留图像细节和结构,并平衡实时性能。在本文中,我们提出了一种用于破坏退化图像的新型算法,该算法利用相邻的列信号相关性去除独立的列条纹噪声。这是通过一种迭代深度展开算法来实现的,其中一种网络迭代的估计噪声被用作下一个迭代的输入。该进展大大减少了可能的功能近似的搜索空间,从而可以在较大的数据集上进行有效的培训。提出的方法允许对条纹噪声进行更精确的估计,以更准确地保留场景细节。广泛的实验结果表明,所提出的模型在定量和定性评估上都超过了人为损坏的图像上的现有破坏方法。
translated by 谷歌翻译
我们日常生活中的深度学习是普遍存在的,包括自驾车,虚拟助理,社交网络服务,医疗服务,面部识别等,但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化(如深度学习模型的架构压缩),而系统社区则专注于实施级别优化。在其间,在算术界中提出了各种算术级优化技术。本文在模型,算术和实施级技术方面提供了关于资源有效的深度学习技术的调查,并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义,阐明了较低级别技术的影响,并探讨了资源有效的深度学习研究的未来趋势。
translated by 谷歌翻译
虽然最先进的视觉变压器模型实现了图像分类的有希望的结果,但它们是非常昂贵的并且需要许多GFLOPS。尽管可以通过减少网络中的令牌数量来降低视觉变压器的GFLOPS,但是没有对所有输入图像的最佳设置。因此,在这项工作中,我们引入了可分辨率的无参数自适应令牌采样(ATS)模块,可以插入任何现有的视觉变压器架构。通过评分和自适应采样重要令牌,在视觉变压器上实现视觉变压器。结果,令牌的数量不再静态,但是每个输入图像都变化。通过将ATS集成为当前变压器块内的附加层,我们可以将它们转换为具有自适应令牌的更高效的视觉变压器。由于ATS是一种无参数模块,因此它可以作为即插即用模块添加到从货架上的预制视觉变压器中,从而在没有任何额外训练的情况下减少他们的GFLOP。但是,由于其可分辨动的设计,人们还可以培训配有ATS的视觉变压器。通过将其添加到多个最先进的视觉变压器,我们在想象成数据集上进行评估。我们的评估表明,通过将计算成本(GFLOPS)降低37%,在保留准确性时,该模块通过降低了37%,提高了最先进的模块。
translated by 谷歌翻译
我们介绍了用于有效索引字符串的RadixStringsPline(RSS)学习索引结构。RSS是一个基数树,每个索引固定数量的字节。RSS方法或超过传统字符串索引的性能,同时使用7-70 $ \ times $少的内存。RSS通过使用最小的字符串前缀来实现这一目标,以充分区分数据与索引整个字符串的大多数探测方法不同的数据。此外,RSS的界限错误性质加速了最后一英里的搜索,也可以启用内存有效的哈希表查找加速器。我们对艺术和热门的几个真实弦乐数据集进行基准RSS。我们的实验表明,这种研究线可能对未来的内存密集型数据库应用有望。
translated by 谷歌翻译
许多不同的研究表明,发作内存是一种生成过程,但大多数计算模型采用存储视图。在这项工作中,我们提出了一种用于生成的eoisodic记忆的计算模型。它基于中央假设,即海马存储和检索作为存储器迹线的集发作的选定方面,这必然不完整。在召回时,Neocortex在我们称之为语义完成的过程中,基于一般语义信息合理地填写缺失的信息。作为剧集我们使用代表上下文的不同背景增强数字(MNIST)的图像。我们的模型基于VQ-VAE,其以索引矩阵的形式产生压缩潜在表示,其仍然具有一些空间分辨率。我们假设注意其他人被丢弃的索引矩阵的某些部分,然后表示剧集的主旨,并存储为内存跟踪。在调用缺失的部件时,通过PixelCNN填充,建模语义完成,然后由VQ-VAE解码为完整图像。该模型能够以语义合理的方式完成存储器迹线的丢失部分,直到它可以从头开始产生合理图像的点。由于索引矩阵中的组合学,模型将概括为未培训的图像。压缩以及语义完成有助于对内存要求的强烈降低和对噪声的鲁棒性。最后,我们还模拟了一个eoicodic存储器实验,并且可以重现语义一致上下文总是比不一致的语调更好地召回,高度关注水平提高两种情况下的记忆精度,并且不记得正确的背景更常常以完全错误的方式记住。
translated by 谷歌翻译